Kay sinh ra ở Mossley và thi đấu bóng đá nghiệp dư với Walkden trước khi gia nhập Bolton Wanderers nhưng do Thế chiến thứ I bùng nổ nên không thể thi đấu cho Bolton.[1] Sau chiến tranh ông gia nhập Stoke và thi đấu mỗi trận trong mùa giải 1919-20 với 43 trận đấu, ông là lựa chọn số một trong mùa giả 1920-21 với 70 lần ra sân liên tiếp. Ông bị huấn luyện viên Arthur Shallcross loại ra sau khi để thủng lưới 5 bàn trước Bristol City và chỉ thi đấu thêm 6 trận ở mùa giải 1921-22 trước khi bị giải phóng hợp đồng cuối mùa.[1]